Nama Kirribilli berasal dari perkataan Aborigin Kiarabilli, yang bermaksud 'tempat memancing yang baik'. Pinggir bandar pada mulanya terbentuk di sekitar Jeffrey Street dan kemudian menjadi sebahagian daripada pemberian bantuan kepada James Milson (1785-1872), setelah itu Milsons Point dinamakan. Kawasan ini sebahagian besarnya diliputi semak asli. Sebagai dekad berlalu, tanah tersebut dibersihkan sedikit demi sedikit dan dibahagi-bahagikan, pertama untuk pembinaan kediaman keluarga besar pada tahun 1840-an, kedua untuk pembinaan rumah teres Victoria dari tahun 1860-an dan seterusnya, dan akhirnya untuk rumah pangsa abad ke-20.Pemilik tanah awal yang terkenal di Kirribilli termasuk ahli keluarga Campbell, Jeffrey dan Gibbes. Kolonel John George Nathaniel Gibbes (1787-1873), Pemungut Bea Cukai untuk New South Wales, yang dibina 'Wotonga' - pendahulu Admiralty House - pada tahun 1842-43 pada tapak 5-ekar (20,000 m2) yang dia sewa, dan kemudian dibeli, dari Campbells. Anak lelaki Gibbes, William John Gibbes, tinggal berdekatan di Beulah House pada tahun 1840-an. Beulah kemudian didiami oleh keluarga Riley dan Lasseter. Akhirnya, rumah itu dirobohkan dan tanahnya dibahagikan kepada banyak blok kediaman yang disiapkan untuk lelongan awam pada tahun 1905.[3]

Kawasan Kirribilli dibuka lebih jauh untuk pembangunan dengan selesainya Sydney Harbour Bridge pada tahun 1932, yang menghubungkan perbandaran Sydney Utara secara langsung melalui jalan darat dan kereta api dengan CBD Bandar Raya Sydney.